linear_algebra

前言: 什么顺序讲?

其实最需要想一下的是怎么写行列式。

南大课本（指一层次线性代数的那本蓝色的书）上是行列式起手的讲法。这是臭名昭著的，我肯定不这样讲。《Linear Algebra Done Right》中是先从向量空间引入的，但这样就导致行列式的定义在很后面。

说实话，其实我也不是很清楚行列式到底是怎么被搞出来的，我只知道怎么算并且怎么用，但还没有理解到本质。因此这篇文章会比较唐突的引出行列式。我也不想这样但我水平真的有限。

总的来说，我会参考LADR，从向量开始介绍。

另外，本篇面向的是那些，“觉得线性代数有点枯燥但还是要学” 的大学生，或许能使你激发对知识的探索欲。

本篇的行文风格是，对于一个新内容，尽量启发性的去发现这件事，然后再写出形式化的描述并证明

向量

$\overrightarrow{a}=(x,y,z)$ 表示一个三维向量。

$n$ $n$ $v=(v_1,v_2\cdots v_n)$ 。

$n$ $\mathbb{R}^n$ 。

补充：关于复数
由于我们并不强调复数，因此我们默认是在实数域里讨论。后面说到 “标量”，通常默认是指实数。

$a$ 表示向量。懂的都懂。

作为第一部分，我们先来把向量给折腾一圈，即使我们还没引入任何矩阵相关的概念。事实上，确实，即使不需要矩阵（或者说，线性变换），我们也可以对向量做很多事情。

线性运算

向量可以进行 线性运算：数乘、加法

$v=(v_1,v_2,\cdots v_n)$ $kv=(kv_1,kv_2,\cdots kv_n)$ $k$ 是标量

$a=(a_1,a_2\cdots a_n),b=(b_1,b_2\cdots b_n)$ $a+b=(a_1+b_1,a_2+b_2,\cdots a_n+b_n)$

只要我们能进行 线性运算，就能做 线性组合：

$n$ $v_1,v_2...v_n$ $v=k_1v_1+k_2v_2\cdots +k_nv_n$ $k_i$ 为系数。

能做线性组合的 “对象” 并不只有向量。
例如，一堆多项式，可以做线性组合（多项式有数乘和加法）。甚至于一堆函数，定义“和”为对应位置的和，则函数也可以做线性组合。
因此 LADR 这本书上其实并不区分这些，多项式之类的东西也可以构成一个“向量空间”。
更为牛逼的是，对于函数这样的“向量”，我们甚至也可以用积分定义它的“内积”！甚至可以用这个结合柯西不等式证明一些和积分相关的不等式。我当时读到这里的时候，不禁惊叹于线性代数的美妙！

我们发现，线性组合是一个很灵活的事情。联想高中学过的 “平面向量基本定理”，如果我们有两个不共线的平面向量，我们可以用它们来线性组合出平面上的任何一个向量。是不是很牛逼！

再来看一个东西

线性相关与线性无关 $n$ $v_1,v_2\cdots v_n$ 非全零 $k_1,k_2\cdots k_n$ $v=0$ $n$ 个向量 线性相关，否则我们称它们线性无关。

$v_i$ $0$ $0$

这东西有啥用呢？

首先感受一下这个，我们解方程的时候，经常碰到一些 “无用方程”，比如

{\begin{cases} x + y = 1 & (1) \\ y + z = 2 & (2) \\ x + 2 y + z = 3 & (3) \end{cases}

$(3)$ $(1)+(2)$ 。

事实上，我们把这些系数写成向量，“无用方程”就是在说，这个方程可以被别的方程线性组合出来，也就是说这几个方程线性相关。如果要找出“极大的有用方程”，只需要找“极大线性无关组”就可以了！

那么，我们小学时候就学过的多元一次方程组，现在我们对它有了新的见解。事实上，线性代数中关于线性方程组的内容非常多，后面还会获得更多的新的见解。

$n$ $n$ 个线性无关的向量，它们就一定能组合出整个空间！

$n$ 维向量基本定理”。是不是充满了牛逼道理！

想必，就算你是第一次接触线性代数，也一定对线性相关性的概念充满了好奇。

那接下来，我们就进一步关注：我们的这些向量，能组合出一些什么东西？我们还能用它玩出多少花样？

向量空间

概念

向量空间 $V$ ，满足：

$V$ $V$ 对该运算封闭
满足运算律：“大八条”，在各种课本上都能见到

存在线性运算且封闭，定义为：

加法 $\forall a,b\in V$ $a+b\in V$
数乘 $\forall a\in V,k\in R$ $k\cdot a\in V$

“大八条”，为：

$0$ $\forall a,0+a=a+0=a$
$a$ $-a$ $a+(-a)=0$
$1$ $\forall a,1\cdot a=a$
$a,b$ $a+b=b+a$
$\begin{cases}\forall a,b,c\in V: & (a+b)+c=a+(b+c)\\\forall k,l\in R,a\in V:\quad & k\cdot(l\cdot a)=(kl)\cdot a\end{cases}$
$\begin{cases}\forall k\in R,a,b\in V:\quad & k(a+b)=ka+kb\\\forall k,l\in R,a\in V:\quad & (k+l)a=ka+la\\\end{cases}$

$V$ $V$ $V$ $V$ $V$ 的子集上就满足交换律了，也是可能的。

向量空间的“空间”并不是凭空来的。例如，平面上的一条过原点的直线，直线上的点表示的向量就组成一个向量空间（可以自行验证）。向量空间的确可以表示一块“空间”，可以是直线、平面，也可以是更高维的空间。

$R$ 上的函数定义加法和数乘，那它就可以构成一个向量空间。

向量空间可以是无穷维的，比如上述函数向量空间。不过我们主要关注有限维的向量空间，因为我们很难研究一个无穷维的空间。

$n$ 个向量”，现在，我们可以去研究空间，也就是 无穷个向量！

张成空间

现在，假设我们有了一堆向量，它们能 “组合出来” 哪些向量呢？

张成空间 $\text{span} \{v_1,v_2\cdots v_n\}$ $\{v|v=\sum k_iv_i\}$ $v_i$ “能拼出来的向量集合”。

张成 $V$ $\text{span}\{v_1,v_2\cdots v_n\}=V$ $\{v_i\}$ $V$ 。

（前者“张成”是形容词，代表“张成的”；后者是动词）

$k_i$ $0$ $\text{span}\{v_i\}$ $0$ 。而且我们可以证明，张成空间是一个向量空间。

首先我们无需再验证 “大八条”，因为向量的加法、数乘的运算律我们已经清楚了。
其次我们验证封闭：你发现它显然封闭。证毕。

$v_1=(1,1,0),v_2=(0,1,1),S=\text{span}\{v_1,v_2\}$

$(1,10,9)\in S$ $(1,1,4)\not\in S$ $(3,8,5)\in S$ $(1,10,9)+(3,8,5)=(4,18,14)\in S$ 。

$(x,y,z)\in S$ $y=x+z$ $S$ $x-y+z=0$ 。

$v_1=(1,1,0)$ $v_2=(0,1,1)$ $x-y+z$ 。“张成”这个词，就跟这里的“编织”很像，就是给它俩拼一拼凑一凑，组成一块空间。

好中二啊。。。。

$v_3=(1,2,1)$ $S$ 变成了什么？

$v_3\in \text{span}\{v_1,v_2\}$ $v$ $v_1,v_2,v_3$ 线性相关。

$v_1,v_2\cdots v_n$ $v\in \text{span}(v_i)$ $v$ $v\not\in \text{span}(v_i)$ ，那么张成空间必然会变大。证明很容易。

折腾空间：和，交，积

$^{[\text{注}]}$ 没有，但我们知道这东西，有利于促进认知，有时候做题有用。

[注] 其实不然。我以为没有，事实上是还没讲到。书上是有的。

$V$ $V_1$ $V_1$ $V_1\subseteq V$ $V_1$ $V$ $\{0\}$ $V$ $V$ 的子空间。

和 $V_1,V_2\subseteq V$ $V_1+V_2=\{v|v=v_1+v_2,v_1\in V_1,v_2\in V_2\}$

直观：就是把俩空间里的向量，各取一个，加起来。
$V_1+V_2\subseteq V$ ，和空间仍然是子空间
容易发现： $V_1+V_2$ $V_1,V_2$ 的最小子空间。
可以把它当成是一种类似“并”的操作。

直和 $V_1\cap V_2=\{0\}$ $V_1\oplus V_2$ 。

$y=x$ $V_1$ $y=2x$ $V_2$ $V_1+V_2$ 是直和。
$xy$ $V_1$ $yz$ $V_2$ $V_1+V_2$ $V_1\cap V_2$ $y$ $0$ 。
“直和” 类似两个集合的 “不交并”。它是在要求两个集合不交的基础上求并集。

交 $V_1,V_2\subseteq V$ $V_1\cap V_2$

容易证明子空间取交集以后依然对线性运算封闭，所以得到的是一个向量空间。

空间的积 $V_1,V_2$ $V_1\times V_2=\{(v_1,v_2)|v_1\in V_1,v_2\in V_2\}$

$(v_1,v_2)$ 是一个 元组（tuple）~~假如你学过python可能对这玩意有印象~~ $(a_1,a_2)+(b_1,b_2)=(a_1+b_1,a_2+b_2)$ 。
$V_1+V_2=\{x+y|(x,y)\in V_1\times V_2 \}$ 。
它显然成立。因为，“空间的和”的定义是 “取两个元素，加起来，得到集合”，而这东西相当于“取两个元素，先打包成元组，再把元组里的东西加起来，得到集合”，做的事情是完全一样的。就好比下载下来的文件，先打个包，再解包，没有任何影响。

一些性质：

$V_1\subset V_2 \iff V_1\cap V_2=V_1\iff V_1+V_2=V_2$ 。跟集合是一致的。
$\dim V_1+\dim V_2-\dim (V_1\cap V_2)=\dim(V_1+V_2)$ 。后面定义了维度以后，再来想证明（提示：基，扩约基，见后面）
$|A|+|B|-|A\cap B|=|A\cup B|$ $|S|$ 表示集合的大小
$\dim V_1+\dim V_2>\dim V$ $V_1\cap V_2$ $0$ 向量（即，至少一维）。就比如三维空间里的任意两个过原点的平面，不可能只交于一个点，要么交一条线，要么重合。

空间到底 “几维”？

根据刚才的感受，似乎 “n个向量拼出来的空间大概是n维的”，但现在我们发现，“如果有了线性相关的向量，就拼不出n维了”

等等，说到底，一个空间的“维数”，是什么？怎么判断？

对于低维的情况，我们通常采取 “看它是啥” 的办法，是直线，平面，还是空间，来判断它几维。那四维以上，我们没法“看”了，咋办？寄了？

下面我们就来想办法描述空间的 “维度”。此前，我们需要一个工具：基！

基，与空间的维数

接下来，我们搞基！

我的高中数学老师：要做好向量题，需要学会“搞基”和“搞积”。
这对应我们说的“基的观点”和“内积空间”，即使来到线性代数的领域，也很有用。

基

什么是 “基”？

$v_i$ $v_i$ $v$ $v_i$ $v_i$ 是向量空间的基。

根据高中学的平面向量基本定理，我们知道，两个不共线的二维向量是平面的基。它们可以 唯一组合 出平面的所有向量。

那是不是，对于任意向量空间，它的所有向量都可以被基给唯一表示呢？是的！我们来证明。

$n$ 维向量基本定理”）

$v_i$ $V$ $\forall v\in V$ $v$ 是可以被表示出来的。下证唯一性。
$v_1,v_2\cdots v_n$ $v$ $a_i$ $b_i$ $v=\sum a_iv_i=\sum b_iv_i$ $a_i,b_i$ 不全相等。
$v-v=0=\sum (a_i-b_i)v_i$ $v_i$ $a_i-b_i$ $0$ $v_i$ 线性相关。矛盾！
所以，没有两种表示方式，表示方式是唯一的。

这启发我们：我们可以用“基”作为描述空间的工具！

确实是这样。我们发现，一个向量空间，它里面有无穷无尽的元素。我们不可能去“枚举”里面的每个元素并研究。

但对于有限维空间而言，“基” 一定是有限的，里面包含一个个单独的向量。我们去研究 “基” 的性质，再尝试通过线性运算组合它们，就可以研究出整个空间的性质了。

举个例子：我们用 “基” 的观点来研究上述向量空间的和与基。

$U,V$ $u_1,u_2\cdots u_m$ $v_1,v_2\cdots v_n$

$u_i,v_i$ $U+V$ 。

$U\times V$ $(u_1,0),(u_2,0)\cdots (u_m,0),(0,v_1),(0,v_2)\cdots (0,v_n)$ 。

$U\times V$ 中的所有元素，所以是基

$U\oplus V \iff u_i,v_i$ 线性无关。

$\Leftarrow$ ” 显然，如果线性无关，肯定不会有非0交
$\Rightarrow$ $\exists v\neq 0, v\in U\cap V$ $v$ $u_i,v_i$ $u_i,v_i$ $0$ $u_i,v_i$ $\Rightarrow$ ”

现在我们发现，“基的观点” 真是一个很棒的工具

话说，“交” 怎么做？
并不容易直接做。的确有线性基求交的算法，不过我还没看懂，抱歉啊
丢个别人写的博客链接：线性基求交

“扩约基” 大法

这是一个很棒的工具，可以用来证明一些命题。

$v_i$ ，但它可能线性相关，就有一些“冗余向量”。我们可以对它进行 “约简操作”，使得它张成空间不变，并且变得线性无关。

$v_1$
$i=2\cdots n$ $i$ $v_i$ $v_i$ $v_i$ ，否则留
$v_1,v_2\cdots v_n$ $V$

$v_i$ $V$ $V$ 的基。事实上这就是我们竞赛里的 “线性基算法”。我们得到的 “基” 一定是 极大线性无关组

“极大”这个词的意思是，“不能通过调整变得更大”
函数的“极大值”，就是 “不能通过左右微调变得更大”，就是说这个值比左右两边的（足够小的）领域里的值都大
这里的“极大”是指，“不能再加一个新的向量使得它还是线性无关组”

$v_1,v_2\cdots v_n$ $V$ $V$ 的基。这是 “扩张” 操作。

$w_1,w_2\cdots v_m$ $V$ $v_1,v_2\cdots v_n,w_1,w_2\cdots w_m$ $v_1,v_2\cdots v_n$ $w_i$ $w_i$ 就是我们扩充进去的向量。

综上，我们现在有了“扩张”和“约简”操作。这是我们的 “扩约基大法”。在LADR书中，经常使用扩约基大法。

维度

接下来，我们看，怎样严谨的描述一个向量空间的 “维度”？

$x$ $xy$ $xyz$ 坐标。

现在我们有了向量的观点。我们可以把每一条坐标轴“看成”一个向量，比如我们取这个轴上长度为1的单位向量，平面里的每个向量都是坐标轴向量的线性组合。

那我们只需要看，“有几根轴”，或者说，“有几个轴向量”，就知道这个空间几维了。

对于“轴”，我们发现，其实它最重要的性质在于 “线性无关”，所以它们能够组出来所有向量，关于它们的垂直的性质，其实并不重要。比如，平面上两个不垂直的向量，只要不共线，照样能组合出平面上的所有向量。

$V$ $n$ $V$ $n$ $\dim V=n$

$V$ ，则向量组中向量数相同。

$V$ $\ge$ 任意基的向量个数

$v_1\cdots v_n$ $u_1\cdots u_m$ 是基
$u_1,v_1\cdots v_n$ $v_n$ ，使得它的张成空间不变。
$u_2$ $u_2,u_1,v_1\cdots v_n$ $v_i$ 。
$u_1,u_2\cdots u_m$ $v_i$ 的。
$n\ge m$ ，要不然就会有其中一次没得删了。

$v_1\cdots v_n$ $u_1\cdots u_m$ $n\ge m$ $m\ge n$ $n=m$ 。

$n$ $n$ $n$ $n$ 维的。

秩 $\text{rank}(v_1\cdots v_n)$ $\text{rank}$ $r$ 。

对于课本上讲的秩，我们可能不知道它为啥就突然这样定义了。但这里，我们对它有了直观感受：它就是张成空间的维度。利用约简法，我们也可以发现，它就是向量组里的 极大线性无关组 的长度。

我们尝试用维度的概念描述上述 “和空间” 与 “积空间” 的维度。

$U+V$ $u_i,v_i$ $U+V$ 就是几维的。

$U\oplus V$ $\dim (U\oplus V)=\dim U+\dim V$ $u_i,v_i$ 全部线性无关。

$U\times V$ $\dim (U\times V)=\dim U+\dim V$ $U\times V$ $\dim U+\dim V$ 个。

初等变换，高斯消元

初等变换：就是对向量组进行线性运算，包括：

$v_i$ $v_j$ $v_i+v_j$
$v_i$ $k$ $k\neq 0$ $k\times v_i$

$v_i$ $kv_j$ $v_i+kv_j$

$v_i,v_j$ 的操作，也可以由初等变换实现。

具体实现：

(v_{i}, v_{j}) \overset{v_{j} - v_{i}}{\to} (v_{i}, v_{j} - v_{i}) \overset{v_{i} + v_{j}}{\to} (v_{j}, v_{j} - v_{i}) \overset{v_{j} - v_{i}, - v_{j}}{\to} (v_{j}, v_{i})

因此多数书上给的初等变换是三个：数乘，倍加，交换。但此处我们说明，最本质的其实就是那两个：加法和数乘。

一个重要的观察：对向量组做初等变换，张成空间不变。当然，由此，我们可以有许多推论，比如，过程中，它的秩也是不变的。

做初等变换后，每个向量还是原先向量的线性组合，再组合起来还是线性组合，因此不会多。然后我们很容易构造一个办法使得我们还能构造出原先能构造出来的向量，因此也不少。所以张成空间是不变的，不多也不少。

接下来，我们就可以做这样一件事：

高斯消元

简而言之，高斯消元的基本思想就来自小学学过的解方程组消元的办法，“加减消元法”。不过，针对更加一般化的情况，我们需要一个更加规范的语言来描述，这就是线性代数的语言。

这里我们可以看出线性代数语言的一个很大的作用！它可以 形式化的 去描述一个 “变换”，把 “操作” 也变得形式化了。本来它是一个 “流程”，比较偏实践应用，而我们通过线性代数，就把他变得理论化了。
一个最直观的应用是，当我们把他形式化描述以后，就可以写出代码来自动化的完成消元的过程

$V=(v_1,v_2\cdots v_n)$

$V$ 的秩
$V$ 的极大无关组
$v$ $\text{span}(V)$
...

我们的考试题里经常涉及这种具体的计算题，因此这个很有必要。此前，我们需要先注意到一件事：

$v_i$ $0$ $p_i$ $v_i$ $\text{span}(v_i)$ 中。

我们称这样的向量组，有一个 “漂亮的形式”。看了后面的相关内容，我们会知道，这是一个梯形阵的形式

例子:
$v_1=(1,1,4,5)$ $p_1=1$
$v_2=(0,0,1,0)$ $p_2=3$ $0$ $3$ 个位置
$v_3=(0,0,0,4)$ $p_3=4$

$v[i]$ $v$ $i$ 个位置的数。

$p_i$ $\sum k_iv_i=0$ $p_1$ $v_1[p_1]\neq 0$ $0$ $\sum k_iv_i[p_1]=k_1v_1[p_1]=0$ $k_1=0$ $k_1=0$ $p_2$ $0$ $k_2=0$ $k_i$ $0$ 。

这个记号看起来像C++里访问数组的下标。。。如果滥用了记号我很抱歉

$\text{span}$ $p_i$ $v$ $v$ $p_1$ $v$ $1\sim p_1-1$ $0$ $v$ $v_1$ $k_1$ $v[p_1]$ $0$ $k_1=\dfrac{v[p_1]}{v_1[p_1]}$ $v_2\cdots v_n$ $v$ $0$ $k_1,k_2\cdots k_n$

例子：向量组如上
$v=(2,2,6,22)$ $k_1=2/1=2$ $2v_1$ $(0,0,2,12)$
$k_2=2/1=2$ $2v_2$ $(0,0,0,12)$
$k_3=12/4=3$ $3v_3$ $(0,0,0,0)$ $v=2v_1+2v_2+3v_3$
$v=(2,3,6,22)$ $2v_1$ $(0,1,2,12)$ $1\sim p_2-1$ $v[2]=1$ $0$ $v_2,v_3$ 凑出来，所以就挂了，给出判断：不行！

那我们发现，长成这样的向量组，性质很棒啊！然后我们就会发现一件更棒的事情：对于任意的向量组都可以通过初等变换变成上述 “漂亮的向量组”。由下列高斯消元算法给出。

高斯消元算法 $v_1,v_2\cdots v_n\in \mathbb{R}^m$

$k=1...m$ $k$ 列。每次我们都对原来的向量组做初等变换，并拿出（删去）一些向量形成新的向量组
$k$ $i$ $v_i[k]\neq 0$ $j\neq i$ $j$ $k$ $0$ $v_j-\dfrac{v_j[k]}{v_i[k]}v_i$ 。
$v_i$ 取出，加入新的向量组，并删除。
$v_i$ $0$ $k$ $k$ 从小到大枚举，它必然递增。
$v_i$ $c$ $c=1,2,3\cdots$ $v_i$ $c$ $v_i$ $v_{c+1}\cdots v_n$ $0$ 向量，我们把它放在最下面。

下图来自 wikipedia，给出了一个演示高斯消元法的动画。

后面我们讲到方程，讲到矩阵，讲到行列式，我们会不断的发现这东西非常他妈的有用。

线性变换，矩阵

概念

线性变换 $T: U\to V$ $U$ $u$ $T(u)\in V$ ，而且是“线性的”，即：

$T(u_1+u_2)=T(u_1)+T(u_2)$
$T(ku)=k\times T(u)$ $T(0)=0$ $k=0$ ）

“加性” 和 “齐性” 合在一起，称为 “线性性”。

$U\to V$ $\mathcal{L}(U,V)$ 。

$\mathcal{L}$ $L(U,V)$ 表示同样的意思。

对线性变换，可以定义线性运算。

线性变换的线性运算：

$T_1,T_2\in L(U,V)$ $T=T_1+T_2$ $T(u)=T_1(u)+T_2(u)$
$T_1\in L(U,V)$ $T=kT_1$ $T(u)=k\times T_1(u)$

$0\in L(U,V)$ $0(u)=0$ 。也就是它把任意向量映射成零向量。

于是，我们很容易发现： $L(U,V)$ 是向量空间！

也就是说，这个不知道在干什么的一个映射，它的集合，居然是一个向量空间！它不仅本身是线性的，还能构成向量空间，那它到底是个啥呢？真是线线又性性啊。

线性变换的复合运算 $T\in L(U,V)，S\in L(V,W)$ $T$ $S$ $S\circ T$ $(S\circ T)(u)=S(T(u))$ $S\circ T\in L(U,W)$ 。

$U,V$ $V,W$ $U,W$ $m\times n$ $n\times p$ $m\times p$ $V$ $n$ ），并在“搞起来”之后没了。是否有某种相似的感觉？
事实上，可不止是“相似”，这玩意就他妈的是一回事！（原谅我的不严谨，但他俩真的紧密关联）

搞基，引入矩阵

线性变换是针对向量空间而言的。向量空间是一大块空间，这导致我们很难去搞它，也就对线性变换这回事有点迷惑：它到底在干啥？

回想上面学到的内容：当我们不会处理“一块空间”的时候，搞基！

根据这个idea，我们把线性变换作用在基上，再根据线性变换的线性性，很快，我们发现：

$U,V$ $u_1,u_2\cdots u_m$ $v_1,v_2\cdots v_n$ $T\in L(U,V)$

$u\in U$ $T(u)$ $T(u_1),T(u_2)...T(u_m)$ 唯一确定。

$u$ $u_i$ $u=\sum k_iu_i$ $T(u)=T(\sum k_iu_i)=\sum T(k_iu_i)=\sum k_iT(u_i)$

$T(u_i)$ $V$ $v_i$ 的线性组合，这是一组系数。

$m\times n$ $n$ $m$ $i$ $T(u_i)$ $v_i$ 组成的系数。

$m=4,n=3$ $u_i,v_i$ 辅助理解）
$\begin{matrix} u_{1} & u_{2} & u_{3} & u_{4} \\ v_{1} & 1 & 1 & 4 & 5 \\ v_{2} & 1 & 4 & 1 & 9 \\ v_{3} & 8 & 1 & 0 & 0 \end{matrix}$
$T(u_1)=1v_1+1v_2+8v_3$ $T(u_2)=1v_1+4v_2+1v_3$ $T(u_3)=4v_1+1v_2+0v_3$ $T(u_4)=5v_1+9v_2+0v_3$

我们发现，假如基确定，这个“表示”和线性变换是 一一对应 的。也就是，给定线性变换，这个表示唯一；给定这个表示，确定的线性变换唯一。

这个“表示”，就是我们的矩阵

线性变换关于某个基的矩阵 $T,U,V$ $T$ $u_i,v_i$ $M(T)$ $M(T)_{i,j}$ $i$ $j$ $T(u_j)=\sum\limits_{i=1}^{n}M(T)_{i,j}v_i$

$\dim U=m,\dim V=n$ $M(T)$ $n\times m$ $\mathbb{R}^{n\times m}$ $n\times m$ $\mathbb{C}^{n\times m}$ 同理，但我们用的少）

如果我们取不同的基，得到的矩阵是不同的。不过，一般我们默认取的是 标准基下的矩阵。

$\mathbb{R}^n$ $e_1,e_2\cdots e_n$ ，满足：
$e_1=(1,0,0\cdots 0),e_2=(0,1,0\cdots 0)\cdots e_n=(0,0,0\cdots 0)$
$e_k$ $k$ $1$ $0$ 。

矩阵的线性运算：

$A,B\in \mathbb{R}^{n\times m}$ $(A+B)_{i,j}=A_{i,j}+B_{i,j}$ ，就是对应位置相加
$A\in \mathbb{R}^{n\times m}$ $(kA)_{i,j}=k\times A_{i,j}$ $k$

$n\times m$ $0$ $\mathbb{R}^{n\times m}$ 是一个向量空间。

矩阵的转置 $A$ $A^T$ $(A^T)_{i,j}=A_{j,i}$ ，就是把行列交换得到的矩阵

“转置” 的概念是通过对偶映射引入的。后面我们会从头来引入这个东西。

常见的一些矩阵的种类：

$0$ $O$ 表示
消元得到的矩阵：行（列）简化梯形阵，标准型
$e_{i,j}$ $i,j$ $1$ $0$ $\mathbb{R}^{n\times m}$ 的标准基。
$n\times n$ 的矩阵（方阵对应的线性变换叫做 “算子”，它有特殊的性质），也有许多种类：
- $1$ $0$ $I_n$
- $0$ $a_1\cdots a_n$ $\text{diag}(a_1,a_2\cdots a_n)$
- $A_{i,j}=A_{j,i}$ 的矩阵
- ...

矩阵乘法

我们关注这个问题：两个变换的复合，对应的矩阵是什么？

$T\in L(U,V),S\in L(V,W)$ $U,V,W$ $u_i,v_i,w_i$ $m,n,p$ 。

$M(S\circ T)$ 是啥。同样，我们研究它对基的作用。

$M(S)=A\in \mathbb{R}^{p\times n},M(T)=B\in \mathbb{R}^{n\times m}$

$(S\circ T)(u_i)=S(T(u_i))=S(B_{1,i}v_1+B_{2,i}v_2\cdots +B_{n,i}v_n)=B_{1,i}S(v_1)+B_{2,i}S(v_2)\cdots +B_{n,i}S(v_n)$

$=\sum\limits_{k=1}^{n} B_{k,i}S(v_k)=\sum\limits_{k=1}^{n}B_{k,i}\sum\limits_{j=1}^{p}A_{j,k}w_j=\sum\limits_{j=1}^{p}w_j\times (\sum\limits_{k=1}^{n}B_{k,i}A_{j,k})$

$W$ $w_j$ $w_j$ $\sum\limits_{k=1}^{n} A_{j,k}B_{k,i}$

$(S\circ T)(u_i)$ $w_j$ $M(S\circ T)_{j,i}$

$M(S\circ T)_{j,i}=\sum\limits_{k=1}^{n}A_{j,k}B_{k,i}$

这便是一般的书上给出的矩阵乘法的定义式。也就是说，我们 用矩阵乘法，描述的是两个线性变换的复合

矩阵乘法 $A\in \mathbb{R}^{m\times n},B\in \mathbb{R}^{n\times p}$ $A\times B$ 定义为：

(A \times B)_{i, j} = \sum_{k = 1}^{n} A_{i, k} B_{k, j}

$A\times B\in \mathbb{R}^{m\times p}$

$(A\times B)$ $i$ $j$ $A$ $i$ $B$ $j$ $A$ $=$ $B$ 的行数。

$n\times 1$ $v$ $A\in \mathbb{R}^{m\times n}$ $v$ $Av$ 。

用矩阵乘法做线性变换 $T\in L(U,V)$ $A$ $T(u)=Au$ $u$ $u=(1,1,4,5)$ $u=1e_1+1e_2+4e_3+5e_4$ $v_i$ $T(u)$ 的结果。

矩阵乘法的性质：

$(AB)C=A(BC)$
$A(B+C)=AB+AC$
交换律：不满足！ $AB$ $BA$ 可能不能乘，就算可以乘，也大概率不相等。

处理矩阵：矩阵分块

就是说，我们可以把矩阵分成若干个块，每一块里面是个小矩阵。然后，求两个矩阵的积，可以把每一块小矩阵看成“元素”，对它们进行乘法。

$A=\begin{pmatrix}A_1 & A_2 \\ A_3 & A_4\end{pmatrix}$ $B=\begin{pmatrix}B_1 & B_2 \\ B_3 & B_4\end{pmatrix}$ $AB=\begin{pmatrix}A_1B_1+A_2B_3 & A_1B_2+A_2B_4\\A_3B_1+A_4B_3 & A_3B_2+A_4B_4\end{pmatrix}$

$A_1,A_2,A_3,A_4,B_1,B_2,B_3,B_4$ 都是小块的矩阵。

$A$ $=$ $B$ 在列上的划分。

$A\in\mathbb{R}^{m\times n},B\in\mathbb{R}^{n\times p}$ $A$ $n=n_1+n_2$ $B$ $n$ $n_1+n_2$ 才行。

这个应用有很多，有时候我们可以用合理的分块使我们加速矩阵的乘法。也可以利用分块矩阵来帮助我们更清楚的描述一个“大矩阵”里的各个“小部分”，用于一些小证明。

$r_i$ $c_i$

$A\times B$ $A$ $B$ $B$ $B$ $A$ $A$ 行分块）得到新矩阵的行。这个观点非常有用！

处理矩阵：行列变换与消元法

消出来的形状

上面讲了对向量组进行消元的方法。由于矩阵可以看成行列向量组，我们也可以对它进行消元。

对行（列）向量做初等变换，叫做 初等行（列）变换

我们可以用上述消元方法，只做行变换，把矩阵的行向量组消成 “漂亮的形式”：梯形阵

梯形阵满足，每一行的首个非0元素出现的位置严格递增。

我们可以进一步把它变成 行简化梯形阵，它满足：在上述基础上，

为1 $p_i$ 处
$i$ $p_i$ $i$ $1$ ，其它都为0

我们只需在上述变换的基础上，给每一行除一个数，就把那个非零元素变成1了，然后再用这一行去消上面的行，把非0的位置消掉。此时我们仍然 只做了行变换。

标准型 $\begin{pmatrix} I_r&O\\O & O \end{pmatrix}$ 。

$r$ 行非0）的基础上

$1,2\cdots r$ $1,2\cdots r$ $I_r$ $\begin{pmatrix} I_r & \ast\\O & O \end{pmatrix}$
$\ast$ $1\sim r$ $\ast$ 就全消没了，矩阵变成了标准型。

总结：

$\text{任意矩阵A} \xrightarrow{\text{行变换}}\text{行简化梯形阵}\xrightarrow{\text{列变换}}\text{标准型}\begin{pmatrix} I_r&O\\O&O \end{pmatrix}$

用方阵描述行列变换

对于oi选手，学会矩阵后的第一件事，就是尝试用矩阵来描述一个变换 ~~$n$ 项）~~

$v=(a,b,c)$ $v$ $Pv=(a,2b,c)$ $P$ $Pv=(a+c,b,c)$ $P$ 又是什么？

$P$ $3\times 3$ 的方阵。经过一些手动模拟，或者待定系数吧，总之我们可以得到：

$P=\begin{pmatrix}1&0&0\\0&2&0\\0&0&1\end{pmatrix}$ $P=\begin{pmatrix} 1&0&1\\0&1&0\\0&0&1 \end{pmatrix}$ 。

$a,b,c$ $a,b,c$ 是三个向量也无妨，我们可以把矩阵列分块，照样把它看成数来算。

从上面的例子我们可以大概感受到怎样用矩阵描述初等变换。

$P=\text{diag}(a_1,a_2\cdots a_n)$ $a_i=k$ $\forall j\neq i,a_j=1$ $P\times A$ $A$ $i$ $k$ 倍，别的不变

$P=I_n+e_{i,j} (i\neq j)$ $P$ $i,j$ $1$ $0$ $P\times A$ $A$ $i$ $j$ $P=I_n+ke_{i,j}(i\neq j)$ $i$ $j$ $k$ 倍。

$P=I_3+e_{1,3}$ $1$ $3$ $(a+c,b,c)$ 。

然后我们大脑一转，诶！发现这么一回事：

$I_n$ 做相应变换后得到的矩阵

$P$ $PA$ $A$ $PA=(PI_n)A$

$PI_n$ $I_n$ $P$ 本身。

$i,j$ $P$ $I_n$ $P_{i,i}=P_{j,j}=0$ $P_{i,j}=P_{j,i}=1$

$Q$ $I_n$ $Q$ 。

后面我们会讲到方阵的可逆性，这里先提一嘴。

$A$ $A'$ $A'=PAQ$ $P,Q$ $P,Q$ $A=P^{-1}A'Q^{-1}$ $P^{-1},Q^{-1}$ 也是可逆的方阵
$A'$ $A$ 的标准型，于是就有了一种 矩阵分解方法：
$A$ $A=P\begin{pmatrix} E_r&O\\O&O\end{pmatrix} Q$ $P,Q$ 是可逆的。
$P$ $T_1T_2\cdots T_k$ $T_i$ $P$ $I_n$ $I_n$ $P$ 的一个方案。

零空间，值域，秩，方程

零空间与值域

$T$ ，定义：

$\text{null } T=\{v|T(v)=0\}$
$\text{range }T=\{T(v)\}$

$T$ $A$ $A$ $Av=0$ $v$ $Av$ 的集合。我们来研究，这是个什么玩意。

$A$ $c_1,c_2\cdots c_m$ $Av=(c_1,c_2\cdots c_m)v=v_1c_1+v_2c_2\cdots +v_mc_m$ $c_i$ $v_i$ $v$ $Av$ $c_i$ $\text{range }A=\text{span}(c_i)$

$A$ $r_1,r_2\cdots r_n$ $Av=0$ $\forall i,r_iv=0$ 。

$r_i$ $v$ 是“垂直的”。
但严格来说，“垂直” 依赖于内积的定义，这个后面再说，这里讲这个是越级的。
但我们毕竟高中学过向量的点乘，姑且用这个来帮助我们理解。
$v$ $r_i$ $v$ $\text{span}(r_i)$ $v$ $\text{null }A$ $\text{span}(r_i)$ 的空间
$\text{span}(r_i)$ $\text{null }A$ 就是过原点垂直该直线的平面
$(u,v)=u^{T}\overline{v}$ $0$ 才说明垂直。

$T\in L(V,W)$ ，则：

\dim range T + \dim null T = \dim V

这是一个十分漂亮且十分重要的公式！

证明：
$\text{null }T$ $V$ $v_1,v_2\cdots v_r$ $\dim V=n$
$V$ $n-r$ $u_1,u_2\cdots u_{n-r}$
$T(u_i)$ $\text{range T}$ $\dim \text{range }T=n-r$
$T(u_i)$ 线性无关。
$k_i$ $\sum k_iT(u_i)=0$ $T(\sum k_iu_i)=0$ $\sum k_iu_i\in \text{null }T=\text{span}(v_i)$ $u_i,v_i$ 是无关的，因此这不可能成立。矛盾！
$T(u_i)$ 是线性无关的。
$T(u_i)$ $\text{range }T$ 。我们用“扩约基”大法
$v_1\cdots v_r,u_1\cdots u_{n-r}$ $V$ $T(v_i),T(u_i)$ $\text{range }T$ $T(v_i)$ $0$ $T(u_i)$ $0$ $T(u_i)$ ，它是一组基。成立！
$T(u_i)$ $\text{range }T$ 的基。证毕！

矩阵的秩

$n\times m$ $m$ $n$ 个行向量。

由此，定义行秩和列秩：就是把矩阵看成行向量组和列向量组，得到的秩。

接下来，有一个美妙的结论：行秩=列秩！

证明：有两个证明。我想了一个，用矩阵的行列变换，结合可逆算子（可逆方阵）性质的证明。LADR书上则是先介绍了对偶变换（转置）然后用那边的结论证明的。
$A$ $PA'Q$ $A'$ 是标准型
$=$ $=r$ 。
而矩阵乘以可逆的方阵后行、列秩不变，这是因为可逆的矩阵一定是初等行（列）变换矩阵的积，做初等行（列）变换时，行（列）秩是不变的。
做初等行变换时，列秩也不变，因为做这个变换时，相当于对每一列都做了同样的可逆变换，这不影响列向量组的张成空间的维度，所以列秩不变。
$A=PA'Q$ $A'$ $r$ 。
关于可逆矩阵的性质，后面会讲到

$r(A)$ 。

$\dim \text{range }A=\dim \text{span}(c_i)=r(A)$

有一些关于秩的性质，在这里顺带提一下。

$n$ $V$ $r(V)=n$ 。考虑定义即可。

$A\in\mathbb{R}^{n\times m}$ $r(A)\le \min(n,m)$ $\le n$ $\le m$ ，显然

$n$ $m$ $m<n$ $\le m<n$ ，必然不是无关的。

$r(A)\le r(A\quad B)\le r(A)+p$ $A\in R^{m\times n},B\in \mathbb{R}^{m\times p}$

$(A\quad B)$ $A$ $B$ ，考虑这玩意的列秩
$\text{span}$ $r(A)\le r(A\quad B)$
$B$ $p$ $1$ $p$ $r(A\quad B)\ge r(A)+p$

$r(AB)\le \min(r(A),r(B))$ $A\in\mathbb{R}^{m\times n},B\in\mathbb{R}^{n\times p}$

$A$ $AB=(c_1,c_2\cdots c_n)B$ $c_i$ $B$ $AB$ $\in \text{span}(c_i)$ $\text{span}(AB)\subseteq\text{span}(c_i)$ $r(AB)\le r(A)$ $AB$ $B$ $r(AB)\le r(B)$

$r(AB)\ge r(A)+r(B)-n$ $A,B$ 同上

$r(A+B)\le r(A)+r(B)$ $A,B$ 是一样大的矩阵

这俩的证明：会在讲行列变换的时候填坑，并介绍一种用基于分块矩阵的证明思路

$k\neq 0$ $r(A)+r(A+kI)\ge n$ $A\in\mathbb{R}^{n\times n}$

$r(A)+r(A+kI)=r(A)+r(-A-kI)\ge r(A-A-kI)=r(-kI)=n$

方程

有了上述工具，就可以用线性代数的工具去理解线性方程组了，非常的爽

$n$ $x_1,x_2\cdots x_n$ $m$ $i$ $\sum\limits_{j=1}^{n} a_{i,j}x_j=b_i$

就是说，

{\begin{cases} a_{1, 1} x_{1} + a_{1, 2} x_{2} \dots + a_{1, n} x_{n} = b_{1} & (1) \\ a_{2, 1} x_{1} + a_{2, 2} x_{2} \dots + a_{2, n} x_{n} = b_{2} & (2) \\ \dots \\ a_{m, 1} x_{1} + a_{m, 2} x_{2} \dots + a_{m, n} x_{n} = b_{m} & (m) \end{cases}

$A$ $A_{i,j}=a_{i,j}$ $x=(x_1,x_2\cdots x_n),b=(b_1,b_2\cdots b_m)$ ，则我们可以把方程写成：

A x = b

它变成了一个极其简洁而美丽的形式！你看，我们有了线性代数的工具，就可以简洁美观的描述问题。

$x$ $A$ $b$ $x$ 。

分两种情况：无解，有解；有解的情况，又分为：唯一解，无穷多解

$b$ $\text{range }A$

$\text{range }A=\{Ax\}$ $Ax$ $A$ 的值域里才行。

$\text{range }A$ $\text{span}(c_i)$ $c_i$ $A$ $x$ $c_i$ $b$ 。

$v$ $v_i$ 的张成空间了。于是我们能判断是否有解了！

还没怎么动脑子，就已经能做这么多了。手上工具多，就是自信！当你会的知识越多，就越不需要技巧，剩下的只有一力降十会！

向量的高斯消元 $b$ $A$ $\tilde{A}=(A\quad b)$ ，然后把它消成一个行简化梯形阵。显然，做行变换的时候，方程的解是不变的。

$0$ $1$ $0=1$ 的方程，显然无解！这也就说明，我们不需要一开始先消元判断一下是否无解，直接上来就消，再看看有没有解也不迟。

大力消元，爽！看到矩阵不会搞，就嘎嘎消元，说不定能折腾点啥出来。

$i$ $1$ $p_i$ $p_i$ $i$ $1$ $0$ $x_{p_i}$ $i$ $x_{p_i}=b_i$ $x$ $0$ ，显然是一组解。于是我们构造了一组特解！

$x_1+x_2=1$ ，它就有无穷多的解。

$x_1=1,x_2=0$ $x_1+k$ $x_2-k$ $(1+k,0-k)$ 。

$(x_1,x_2)=(1,0)+k(1,-1)$ 。不难发现，这确实是通解。

$(1,-1)$ $1+(-1)=0$ $Ax=0$ 的解....诶！脑子一动，我们马上想到一件事：

$x_1,x_2$ $Ax=b$ $x_1-x_2$ $Ax=0$ $Ax=b$ $x_0$ $Ax=0$ $x'$ $Ax=b$ $x$ $x_0+x'$ 的形式。

$x'$ 也有无穷多个呀，我们怎么描述它呢？回忆我们之前学过的内容....

$Ax=0$ $x$ $\text{null }A$ 吗！

此时我们突然就感受到之前学的玩意有啥用了。看！这是不是就很爽了！

$\text{null A}$ $v_1,v_2\cdots v_p$ $Ax=b$ 的通解，就可以写成：

x = x_{0} + k_{1} v_{1} + k_{2} v_{2} \dots + k_{p} v_{p}

$\text{null }A$ 通 $v_1\cdots v_p$ $x_0$ 确定）

总结：如何根据上述工具，解一个线性方程组？

$Ax=b$ $\iff b\in \text{range} A$
$Ax=b$ $x_0$ $\text{null A}$ $v_1\cdots v_p$ ，则通解可以写成：
$x=x_0+\sum\limits_{i=1}^{p} k_iv_i$

$\text{null }A$ 的基，又被叫做 基础解系。不过我们还差一小点：怎样求基础解系？

$Ax=0$ $A$ $r$ $0$ $r$ $A$ $i$ $1$ $p_i$ $x_{p_i}$ $i$ $x_{p_i}$ $x_{...}$ $...x_{...}$ 来表示它们的某个线性组合。

$i$ $x_{p_i}+...x_{...}=0$ $x_{p_i}=-...x_{...}$

$x_{...}$ $x_{p_i}$ $Ax=0$ 一一对应 $Ax=0$ $x_{...}$ 的取值，一一对应。

$i$ $r$ $x_{p_i}$ $r$ $x_{...}$ $n-r$ $v_i(1\le i\le n-r)$ $i$ $x_{...}=1$ $x_{...}=0$ $x_{p_i}$ $Ax=0$ $v_i$ 。

$v_i$ $Ax=0$ $v_i$ $x_{...}$ $x_{p_i}$ $x_{p_i}+...x_{...}=0$ $x$ $v_i$ $v_i$ 是一组基础解系。

总结：构造基础解系的算法

$A$ $r$ $0$ $i$ $1$ $p_i$ 位置
$S=\{p_i|i=1,2\cdots r\}$ $T$ $S$ $T_i$ $T$ $i$ $n-r$ $x_{T_i}$ $x_{...}$
$v_i$ $x_{T_i}=1$ $x_{T_j}=0(j\neq i)$ $x_{p_i}$ $x_{...}$ $v_i=(x_1,x_2\cdots x_n)$
$v_i$ 就是一组基础解系

举例：
$A=\begin{pmatrix} 1&0&1&0&4\\0&1&5&0&1\\0&0&0&1&4 \end{pmatrix}$
$S=\{1,2,4\},T=\{3,5\}$ $x_1,x_2,x_4$ $x_3,x_5$
$v_1$ $x_3=1,x_5=0$ $x_1=-1,x_2=-5,x_4=0$ $v_1=(-1,-5,1,0,0)$
$v_2$ $x_3=0,x_5=1$ $x_1=-4,x_2=-1,x_4=-4$ $v_2=(-4,-1,0,-4,1)$
$v_1,v_2$ $A$ 的基础解系

算子，方阵

$L(V,V)$ $V$ $V$ $L(V)$ 。

扯犊子：什么是“算子”？
$S\to S$ 的映射，映射的两边都是同样的集合。
$v\in \mathbb{R}^n$ $\mathbb{R}^n$ ，它就是一个算子
例如，求导算子，对函数求导，得到的还是函数，它把函数映射到函数，也是一个算子
例如，对数列，有前缀和算子和差分算子，它把数列映射到数列，也是一个算子

算子对应的矩阵，是一个方阵。前面已经提到过了一些种类的方阵。

方阵的可逆性

一个不方的阵，它一定不可能可逆。因为 “可逆” 意味着两个空间存在 “一一对应” 的映射，而不同维度的两个空间肯定不可能一一对应。

$U,V$ $T\in L(U,V)$ $U,V$ 同构
同构的空间，维度一定是相同的

一个方的阵，也不一定就可逆，例如零矩阵，它显然不可逆。那我们思考：什么样的方阵是“可逆”的？

$u$ $Au=v$ $v$ $u$ $A^{-1}$ $u$ $u=A^{-1}v$ 。

$\text{null }A=\{0\}$ $Ax=0$ $x=0$ 。

$\dim\text{range }A+\dim\text{null }A=n$ $\dim\text{range }A=n$ $r(A)=n$ 。

总结：方阵可逆的等价描述：

$\begin{cases} r(A)=\dim\text{range} A=n &(1)\\\dim\text{null }A=0&(2)\\A行列线性无关 & (3) \end{cases}$
$\begin{cases}Ax=0\iff x=0&(4)\\\forall b,存在唯一x,Ax=b&(5) \end{cases}$

还没提到行列式，我们就给出了“可逆”的这么多种等价表达，牛逼吧！
$0$ 。

可逆矩阵的性质：

$A^{-1}$ $A^{-1}A=AA^{-1}=I_n$
$A,B$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ ，不难验证
$A$ $A$ 做初等行列变换，依然可逆（因为这相当于乘一个可逆矩阵）
$A$ $A$ 可以写成若干初等行列变换矩阵的积。这里我们讲到可逆矩阵了，因此可以回去把上面“提一嘴”的内容看一眼去
这是因为，我们一定可以用高斯消元法，通过初等
$v_i$ $\dim\text{span}(Av_i)=\dim \text{span}(v_i)$ ，且这两个张成空间同构
$P,Q$ $A$ $r(PA)=r(AQ)=r(PAQ)=r(A)$ $A$ 做行列变换

到这里我们差不多就能严格的证明上面说的 “行秩=列秩” 这个命题了（指第一种证明）

方阵的行列式

$A\in\mathbb{R}^{n\times n}$ $a_{i,j}$ $\det A$ $|A|$ ，它有如下等价的描述：

余子式定义 $M_{i,j}$ $i$ $j$ $(-1)^{i+j}M_{i,j}$ $A_{i,j}$ $A_{i,j}$ $A$ $i,j$ 位置，我们就不用这个记号了。
$i$ $|A|=\sum\limits_{j=1}^{n} a_{i,j}(-1)^{i+j}M_{i,j}$ $n=1$ $|A|=a_{1,1}$
按行展开行列式 $a_{i,j}M_{i,j}$ $a_{j,i}M_{j,i}$ 即可
由此就可以递归定义一个方阵的行列式了。容易发现，
$\begin{vmatrix}a&b\\c&d\end{vmatrix}=ad-bc$ $\begin{vmatrix}a&b&c\\d&e&f\\g&h&i\end{vmatrix}=aei-afh-bdi+bfg+cdh-cge$
全排列定义 $p$ $1\sim n$ $n=3$ $(1,2,3),(1,3,2),(2,1,3),(2,3,1),(3,1,2),(3,2,1)$ $n!$ $p_i$ $i$ 个数。
$\sigma(p)$ $p$ $=\sum\limits_{i\lt j}[p_i>p_j]$ $[P]$ $P$ $1$ $0$ $i\lt j$ $p_i>p_j$ $(i,j)$ 的个数。
$|A|=\sum\limits_{p}(-1)^{\sigma(p)}\prod\limits_{i=1}^{n}a_{i,p_i}$
总之，就是，枚举排列，求 “一条下来的积”，然后看逆序数是奇数还是偶数，偶数加奇数减。
$n=3$ $(1,2,3),(2,3,1),(3,1,2)$ $0,2,2$ $a_{1,1}a_{2,2}a_{3,3},a_{1,2}a_{2,3}a_{3,1},a_{1,3}a_{2,1}a_{3,2}$ $aei,bfg,cdh$ $(1,3,2),(2,1,3),(3,2,1)$ $1,1,3$ $n!$ 项。
$n!$ 项而且和此处是对应的，可以归纳证明。
公理化定义：先给出行列式的如下性质，再说明满足条件的“行列式”函数是唯一存在的，并且和上面的俩定义一致。
$\det I_n=1$ 。
$i$ 行，满足：
$\begin{vmatrix}\vdots\\a_i+b_i\\\vdots\end{vmatrix}=\begin{vmatrix}\vdots\\a_i\\\vdots\end{vmatrix}+\begin{vmatrix}\vdots\\b_i\\\vdots\end{vmatrix}$ $\begin{vmatrix}\vdots\\ka_i\\\vdots\end{vmatrix}=k\begin{vmatrix}\vdots\\a_i\\\vdots\end{vmatrix}$
$\cdots$ 的部分应该保持一致。
你发现有了这个东西之后其实就可以对矩阵进行大力消元求行列式了，所以这玩意还是很好用的

我们有办法证明它们三个是两两等价的。不过，有点费劲，我就不证了。由于它们等价，接下来，我们就知道怎样求行列式，并可以把公理化定义里的“性质”作为行列式的性质来看。

接下来我们尝试想想，这玩意到底哪来的？
LADR 书上是在最后才给了行列式的定义，并且是用特征值的积来刻画行列式。
$\begin{cases}ax+by=c\\ dx+ey=f\end{cases}$ $(a,b)$ $(d,e)$ $c,f$ $\dfrac{...}{ae-bd}$ $ae-bd$ 似乎是个固定出现的东西。~~然后你发现它就是行列式，并自己发现了 crammer 法则。~~
$(a,b)$ $(c,d)$ $|ad-bc|$ ，诶！这也是个行列式。从此引出行列式的几何意义，它表示这堆向量形成的高维几何体的“体积”。同时，它也可以刻画一件事：对一个几何图形施加线性变换，其“体积”变化多少倍？就是行列式倍。而行列式的符号，与空间的方向有关（我也不懂咋回事）。

我们进一步研究研究行列式的性质。

$0$ $0$ $0$ 。

$\pm 1$ 。

$i,j$ 交换。

$i,j$ $m$ $i\cdots j$
$j$ $m$ $i\ j\cdots$
$i$ $\cdots$ $m$ $j$ $m+1$ $j\cdots i$ ，完成交换
$m+(m+1)=2m+1$ 次，必然是奇数

$0$ $i,j$ $i,j$ $|A|$ $|A|$ $-|A|$ $|A|=-|A|,|A|=0$

$k$ $0$ $k\times$ $=k\times 0=0$

猜测： $0$ 。这个猜的很好，而且猜的对，不过我们过会再证。

我们发现，行列式关于行列线性的性质，似乎跟行列变换有很大关联。接下来就考虑，做行列变换对行列式的影响。

$r_i+r_j$ $\begin{vmatrix}\vdots\\r_i+r_j\\\vdots\\r_j\\\vdots\end{vmatrix}=\begin{vmatrix}\vdots\\r_i\\\vdots\\r_j\\\vdots\end{vmatrix}+\begin{vmatrix}\vdots\\r_j\\\vdots\\r_j\\\vdots\end{vmatrix}$
$0$ $|A|$ $A$ $r_i+kr_j$ ，行列式也是不变的。
$i$ $k$ $k$ 倍，显然，这是行线性性的定义。
$-1$ 倍。

于是，我们就可以通过行列变换，把矩阵消成一个标准型。然后我们就发现，如果矩阵不满秩，行列式就为0，否则行列式非0。

接下来的命题告诉我们：不需要非得消到标准型，消的“差不多”就能求行列式了。

命题：一个 上三角矩阵，行列式为对角线之积。

证：显然可以发现，对角矩阵的行列式是对角线的积。
$a_{1,1}$ $0$ $1$ $1$ $a_{2,2}$ $0$ $a_{i,i}$ ，因此它的行列式就是对角线积。

所以我们消成上三角以后，直接一乘就得到行列式了。当然，要把途中的初等行变换乘上去的因子也考虑进去（别忘了！）。因此我们可以用高斯消元法，通过初等行变换，求矩阵的行列式。

看，高斯消元法又有应用了，牛逼吧！

有了行列变换的工具，我们就可以填上面的坑：（1）可逆，等价于行列式非0（2）如果有若干行线性相关，则行列式为0

$\iff$ $\iff r(A)=n\iff$ $\iff$ （2），所以它俩是等价的。下面证明（2）

$r_i$ $k_i$ $\sum k_ir_i=0$ $k_i$ $0$ $k_1\neq 0$ 。
$k_1$ $i=2\cdots n$ $r_1+k_ir_i$ $r_1=\sum k_ir_i=0$ $0$ $0$ 。

所以我们又多了一条可逆性的等价描述：可逆等价于行列式非0

关于考试中求行列式的常见技巧：

按某一行列展开，并得到行列式与更小规模行列式之间的递推关系
根据行列线性性，拆开某一行，拆成两个好算的行列式的和
做初等行列变换，看看是否能变成好算的形式
$\begin{vmatrix}1&O\\v & A\end{vmatrix}=|A|$
$A\in\mathbb{R}^{m\times n},v\in\mathbb{R}^{m\times 1},O\in\mathbb{R}^{1\times n}$ $0$ $1\times |A|$ $0$ $|A|$
熟悉一些常见的行列式，如：vandermonde行列式，“三叉型”行列式（仅第一行第一列和对角线有值）

方阵：幂，特征空间，对角化

$n\times n$ $n\times n$ 的矩阵。甚至还可以再乘，再乘，再乘....从而求“幂”，这是“不方阵”做不到的。

那么，我们怎样去研究一个方阵的“幂”的性质呢？

矩阵的幂，特征向量

我们可以根据一个高中数学的数列递推的例子来看这件事。

$a_n$ $a_1=1$ $a_{n+1}=2a_n+3$ $a_n$ 的通项？
$a_{n+1}=2a_n+3$ $b_{n+1}=2b_n$ 就很容易研究，因为这是一个等比数列。
$a_{n+1}+3=2a_n+6=2(a_n+3)$ $b_n=a_n+3$ $b_{n+1}=2b_n$ 。
$a_{n}+3=2^{n-1}(a_1+3)$
$a_n=2^{n+1}-3$

我们干了一件事：通过变形，使得原来复杂的变换，变为一个简单的翻倍。

对于矩阵，我们是否也可以干类似的事了？还真可以！

$A=\begin{pmatrix}11&-18\\6&-10\end{pmatrix}$ $A^n$ 的通项？
通过“大眼一瞪”，发现：（也可以通过待定系数+解方程发现）
$A\begin{pmatrix}2\\1\end{pmatrix}=\begin{pmatrix}4\\2\end{pmatrix}$ $2$ 倍
$A\begin{pmatrix}3\\2\end{pmatrix}=\begin{pmatrix}-3\\-2\end{pmatrix}$ $-1$ 倍
$v_1=(2,1),v_2=(3,2)$ $\mathbb{R}^2$ $Av_1=2v_1,Av_2=(-1)v_2$
$v$ $A^n v$ $v$ $k_1v_1+k_2v_2$ ，则
$A^n v=k_1A^nv_1+k_2A^nv_2=k_1\times 2^nv_1+k_2\times (-1)^nv_2$
$A^n v$ $v=(11,6)$ $v=(-18,-10)$ $A$ $A$ $A^n$ 的通项了

事实上，“研究矩阵的幂” 比 “研究数列通项” 更强，因为数列递推也可以写成矩阵的形式。
$a_n$ $v_i=\begin{pmatrix}a_i\\1\end{pmatrix}$ $v_1=\begin{pmatrix}1\\1\end{pmatrix}$ $v_{n+1}=\begin{pmatrix}2a_n+3\\1\end{pmatrix}=\begin{pmatrix}2&3\\0&1\end{pmatrix} v_n$
$a_n$ $A=\begin{pmatrix}2&3\\0&1\end{pmatrix}$ 的幂的通项。
$f_1=f_2=1,f_n=f_{n-1}+f_{n-2}$ $\begin{pmatrix}f_{n+1}\\f_{n}\end{pmatrix}=\begin{pmatrix}1&1\\1&0\end{pmatrix}^n\begin{pmatrix}1\\0\end{pmatrix}$

$v$ $Av=\lambda v$ $n$ $v_1,v_2\cdots v_n$ $v$ $A^{n}v$ 。

$v$ 特征向量 $\lambda$ 叫做 特征值。

$v$ $Av=\lambda v$ $v=0$ 是一个平凡解。

特征向量不能为0 $0$ 的。

特征值与特征向量的性质

$Av=\lambda v$ $\lambda v$ $\lambda Iv$ $Iv=v$ $(\lambda I-A)v=0$

$v$ $\text{null}(\lambda I-A)$ $v$ $\lambda I-A$ $|\lambda I-A|=0$ $\lambda$ 后，怎样搞特征向量呢？解线性方程即可。

$Av=\lambda v$ $\text{null}(\lambda I-A)$ $\lambda I-A$ 的基础解系。

从而我们得到了，解特征值与特征向量的算法：

$|\lambda I-A|=0$ $\lambda$ ，注意计算重数
$\lambda$ $(\lambda I-A)v=0$ $\lambda$ 对应的特征向量组。

$|\lambda I-A|$ 特征多项式 $|\lambda I-A|=0$ $\lambda$ 特征方程 $n$ 次的。

$\lambda$ $\text{null}(\lambda I-A)$ $\lambda$ 特征空间 $E(\lambda,A)$ $v$ $Av=\lambda v$ 。

$n$ $n$ 个根（这个是算重复的，并且可以是复数，下略）。

$A$ $\lambda_1\lambda_2\cdots \lambda_n=|A|$

$=(-1)^n\prod \lambda_i=|-A|=(-1)^n|A|$ ，从而得证

迹 $\text{tr}(A)=\sum\limits_{i=1}^{n}A_{i,i}$ 为对角线元素的和

$A$ $\lambda_1+\lambda_2\cdots +\lambda_n=\text{tr}(A)$

$n-1$ $=-\sum \lambda_i$
$|\lambda I-A|$ $n-1$ $\lambda$ $n-1$ 个对角线元素，而剩下的那一个必然也是对角线。
$(\lambda -A_{1,1})(\lambda-A_{2,2})\cdots (\lambda-A_{n,n})$ $n-1$ $-\sum A_{i,i}$
$\sum \lambda_i=\sum A_{i,i}$

$A$ $n$ $A\in\mathbb{R}^{n\times n}$ ，下同）

$A$ $n$ $n+1$ $n$ 维向量）

$\lambda$ $n-r(\lambda I-A)$ $\dim E(\lambda,A)=\dim\text{range}(\lambda I-A)=n-r(\lambda I-A)$ 。

性质：特征空间之间的和为直和。

$E(\lambda_1,A)\cap E(\lambda_2,A)=\{0\},\forall \lambda_1\neq \lambda_2$
$v\neq 0,v\in E(\lambda_1,A)\cap E(\lambda_2,A)$ $Av=\lambda_1v=\lambda_2v$
$\lambda_1\neq \lambda_2,v\neq 0$ ，它必然不成立。矛盾！证毕。
若干向量空间是直和，当且仅当这些空间的基放在一起后依然线性无关。因此它的推论是：
每个特征空间里都任取一些无关的向量，放在一起，它们是线性无关的

$\sum\limits_{i} n-r(\lambda_i I-A)\le n$

$n$ $E(\lambda,A)$ $\sum\limits_{i} \dim E(\lambda_i,A)\le n$
从而得到该推论

$p$ $A$ $\sum A^ip_i$ $p_i$ $p$ $i$ 次项系数

$p,q$ $p(A)q(A)=q(A)p(A)$ 。

$A$ $A^mA^n=A^nA^m=A^{m+n}$ ，可以用结合律证明。

$A$ $\lambda_i$ $p$ $p(A)$ $p(\lambda_i)$

$p(A)v=\sum p_iA^iv=(\sum p_i\lambda^i)v=p(\lambda_i)v$ $p(\lambda_i)$ $p(A)$ 的特征值
$n$ $p(A)$ $n$ 个，因此就这些了，没别的
$A$ $A^{-1}$ $\lambda_i^{-1}$ $p$ $-1$ 次项。
$A\in\mathbb{R}^{3\times 3}$ $1,2,3$ $A^{-1}+2I+A+A^2$ $\lambda_1=1+2+1+1=5,\lambda_2=\frac{1}{2}+2+2+4=\frac{17}{2},\lambda_3=\frac{1}{3}+2+3+9=\frac{43}{3}$

相似矩阵，对角化

一个算子，是否能关于某个基，有对角矩阵？

如果我在给出矩阵的定义的当场就问你这个问题，想必你会觉得：“啊？这咋做？”

$n$ $v_i$ $v_i$ $Av_i=\lambda_iv_i$ $v_i$ $\text{diag}(\lambda_1,\lambda_2\cdots \lambda_n)$ 为对角矩阵！

$A=\begin{pmatrix}11&-18\\6&-10\end{pmatrix}$ $v_1=(2,1),v_2=(3,2)$ $\begin{pmatrix}2&\\&-1\end{pmatrix}$

或许，在给出矩阵的定义的时候，你可能会疑惑：为什么要用这么别扭的方式定义矩阵？这和书上学的确实也不一样，书上讲的矩阵可以说是 “以标准基为基的矩阵”，没讲到可以取别的基。现在发现了，“标准基”确实方便，但“特征向量基”的性质也非常的棒，所以我们也可以取这个基。

因此，我们现在有必要研究一个，之前一直没研究的问题：怎样对矩阵进行“换基”？同一个线性变换在不同基下的矩阵，表现如何？由于我们这里研究的是方阵，我们只需要研究算子就好了。而且，我们只需要研究 “怎样换到标准基”，就可以以标准基为“中介”，换到任意基。

$T\in L(V)$ $A\in \mathbb{R}^{n\times n}$ $T(v)=Av,\forall v\in V$ 。（假设是列向量，下同）

$v_1,v_2\cdots v_n$ $T(v_i)=\sum\limits_{j=1}^{n}A_{j,i}v_j$ $V=(v_1\ v_2\ \cdots \ v_n)$ $v_i$ $T(V)$ $T(v_i)$ $\sum A_{j,i}v_j$ $V$ $A$ $i$ $V\times A$ $T(V)=V\times A$ $T$ $A_0$ $T(V)=A_0V=VA$ ，得到：

A_{0} = V A V^{- 1}

$V$ $V$ $A=V^{-1}A_0V$ $V$ $A$ $A_0=VAV^{-1}$ $V$ $A_0$ $V$ 下的矩阵。

$V_1,V_2$ $V_1$ $A_1$ $V_2$ $A_2$ $A_2=V_2(V_1AV_1^{-1})V_2^{-1}=(V_1V_2)^{-1}A(V_1V_2)$ $A_2=P^{-1}AP$ $P$ 是某个可逆矩阵。由此：

相似矩阵 $A,B$ $A,B$ $P$ $B=P^{-1}AP$ $A\sim B$ 。“相似”是一个等价关系，满足自反性、对称性、传递性。

相似的性质：

$A\sim B$ $p$ $p(A)\sim p(B)$

$A=P^{-1}BP$ $A^n=(P^{-1}BP)^n=P^{-1}B^nP$ $(PP^{-1})$ 全都抵消了。
$p(A)=P^{-1}p(B)P$ $p(A)\sim p(B)$
$A^n\sim B^n$ $T^n$ $T^n(v)=$ $v$ $n$ $T$ 。

$A\sim B$ $A,B$ 有完全相同的特征值。

$|\lambda I-B|=|P^{-1}(\lambda I)P-B|=|P^{-1}(\lambda I-A)P|=|\lambda I-A|$ 。其特征方程相同，于是特征值相同。
直观理解：特征值是线性变换的特征，和它用哪个基来描述无关。
推论：相似矩阵的行列式、迹相同

从而我们可以定义：

可对角化 $A$ $A$ $D$ 。

对角化 $A$ $P$ $D=P^{-1}AP$ 为对角矩阵。

$A$ $n$ $P$ $A$ $D=P^{-1}AP=\text{diag}(\lambda_1,\lambda_2\cdots \lambda_n)$ 满足条件。所以：

$n$ 个无关的特征向量 $v_i$ $P$ $P^{-1}AP$ $\lambda_i$ 。

$A=PDP^{-1},A^n=PD^nP^{-1}=P\times \text{diag}(\lambda_1^n,\lambda_2^n,\cdots \lambda_n^n)\times P^{-1}$ 。做两次矩阵乘法即可。

接下来，找一些可对角化的条件。

$n$ 个特征值互不相同，则可对角化。

$n$ 个无关的特征向量。

$\sum n-r(\lambda I-A)=n$ ，则可对角化。

显然，因为左边是 “无关的特征向量数”。所以这是 充要条件。

$c$ $\lambda$ $n-r(\lambda I-A)\le c$

证明：我还没彻底理解明白底层原理
由此得到推论： $\forall \lambda,n-r(\lambda I-A)=c$

jordan 标准型

$P^{-1}DP$ 的形式，使得证明便捷了许多。

那，对于不可对角化的矩阵，我们就拿它没办法了吗？

不，我们还有：jordan 标准型！它也是个性质很棒的矩阵，并且对于任意的不可对角化的矩阵，都可以相似于一个jordan标准型。

可惜之处在于，我还没学相关的知识。非常可惜。所以这段跳过。

内积空间

为啥突然出现了“内积”？

南大课本：“我们需要引入正交矩阵，于是先介绍正交与内积的概念”

LADR：似乎就直接引入了

我也说两句吧。就是我们之前其实有几次用到了“垂直”的直观（比如在零空间那里）。但我们需要一个对“垂直”的严格描述。而且，有了“内积”，也就可以定义“长度”。

定义：内积空间，范数，正交

内积 $u,v$ $(u,v)$ ，应该满足如下性质：

$(u,u)\in \mathbb{R}$ $(u,u)\ge 0$
$(u,u)=0\iff u=0$
$v$ $f(u)=(v,u)$ $f(u)$ 是线性变换
$(u,v)=\overline{(v,u)}$

只要满足如下性质，都可以是内积，因此内积并非唯一的。大家可以自行验证，高中学的 “向量点乘” 是一种内积。

$(u,v)=\sum u_iv_i$ 。

$(u,v)=\sum u_i\overline{v_i}$ ，这样可以满足“正”“定”。

上述两个定义的内积，叫做 欧几里得内积。

$[l,r]$ $f,g$ $(f,g)=\int_l^r f(x)g(x)dx$ 。发现它也满足上述性质。
$c_i$ $(u,v)=\sum u_iv_ic_i$ ，它依然是满足条件的内积。
$[l,r]$ $h(x)$ $(f,g)=\int_l^r f(x)g(x)h(x)dx$ ，依然是一种内积

定义 内积空间：有内积定义的向量空间叫做内积空间。

范数 $u$ $||u||=\sqrt{(u,u)}$ 。“正性”保证了范数是非负实数。

在欧几里得内积的定义下，对于实向量，其范数就是模长
$u$ $(|u_1|,|u_2|\cdots |u_n|)$ $|u_i|$ $u_i$ 的模。
$||f||=\sqrt{\int_l^r f^2(x)dx}$

正交 $u,v$ $(u,v)=0$ 。“正交”这个词的意思其实就是“垂直”。

正交，柯西不等式

正交矩阵

（特征值模为1）

实对称矩阵

（特征向量正交）

（大概列出来了接下来的内容大纲，先歇会）